אותות אקראיים ורעש

Transcript

1 הפקולטה להנדסה אוניברסיטת תל אביב אותות אקראיים ורעש ע"פ סיכום הרצאות מסמסטר א' שנת תשס"ח

2 מרצים: ד"ר אורי ארז פרופ' רם זמיר רישום: יגאל רג'ואן מהדורה.3 עריכה אחרונה

3 תוכן עניינים מבוא...5 חלק א: משתנים אקראיים ווקטורים אקראיים... 7 חזרה על מושגים בסיסיים בתורת ההסתברות... 7 מרחב הסתברות...7 משתנה אקראי...8 פונקצית התפלגות מצטברת, פונקצית צפיפות ופונקציה אופיינית...9 וקטורים אקראיים... 2 פונקציה של וקטור אקראי...7 מומנטים משותפים... 9 פונקציה אופיינית משותפת...2 סטטיסטיקה מסדר שני של וקטורים אקראיים...22 מעבר וקטור אקראי דרך מערכת לינארית וקטור גאוסי...24 שערוך משתנים אקראיים מינימום הסתברות שגיאה (עבור מ"א בדיד בלבד) שערוך אופטימלי במובן שגיאה ריבועית מינימלית...30 שערוך לינארי אופטימלי במובן שגיאה ריבועית מינימלית... 3 תמונה גיאומטרית של המשערכים...33 שערוך וקטור אקראי שערוך אופטימלי של משתנה אקראי מתוך וקטור אקראי שערוך לינארי אופטימלי של משתנה אקראי מתוך וקטור אקראי שערוך וקטור אקראי מתוך וקטור אקראי חלק ב: תהליכים אקראיים מבוא לתהליכים אקראיים הגדרה של תהליך אקראי ע"י פילוג משותף תהליך אקראי גאוסי...42 סטטיסטיקה מסדר שני של תהליכים אקראיים (פונקצית האוטוקורלציה) סטאציונאריות של תהליך אקראי (במובן הצר ובמובן הרחב) בנייה של תהליכים אקראיים...45 תהליך אוטו-רגרסיבי ) AR (Auto-Regressive Process, אפנון של אותות אקראיים

4 תהליך וינר Process)...(Wiener 5 הגדרת תהליך אקראי וינר...5 ניתוח תהליך הנגזרת של תהליך וינר רעש לבן שרשרות מרקוב מרקוביות סיווג מצבים של שרשרת מרקוב הומוגנית סטאציונאריות של שרשרת מרקוב "שיכחת העבר" ארגודיות התורה של פרון-פרוביניוס Theorem)...(Perron-Frobenius 62 ארגודיות חלקית (ארגודיות בתוחלת, בקורלציה או בפרמטר אחר)...63 ספקטרום הספק (PSD) Power Spectral Density מעבר תהליך אקראי דרך מסננת לינארית קבועה בזמן... 7 ייצוג מעבר תהליך אקראי W.S.S דרך מערכת LTI במרחב פוריה ("ציר התדר") סינון וינר Filter)...(Wiener 79 ניתוח המסננת הלא סיבתית האופטימלית... 8 מעבר במערכת Output) 82...SIMO (Single Input Multiple מעבר במערכת Output)... MIMO (Mingle Input Multiple 83 מסננת וינר על-פי משפט פיתגורס מסננת וינר עבור מספר תהליכי מדידה נוסחת השגיאה של מסננת וינר עיבוד מקבילי של פסי תדר...88 תהליך פואסון Process) (Poisson 9... תהליך מנייה Process) (Counting בזמן רציף... 9 הגדרת תהליך פואסון... 9 סטטיסטיקה מסדר שני של תהליך אקראי פואסון...92 תהליך זמני ההגעות (המניות) הגדרות חלופיות של תהליך פואסון תכונות של מיזוג ופיצול תהליך פואסון טבלת השוואה וסיכום: תהליכי פואסון ו-וינר

5 מבוא דוגמא : נניח שאנו מאזינים לדובר #, בנוכחות דובר #2 (נסמן את אותות הדיבור שלהם ב-, בהתאמה). שני אותות אלו הם אקראיים מבחינתו. אנו לא יודעים מראש מה הם יגידו בהמשך. מכיוון שאנו מעוניינים להקשיב רק לדובר #, אות הדיבור של דובר #2 הוא אות אקראי לא רצוי. נקרא לו "רעש". האות הנקלט באוזנינו הוא = + המוח האנושי מסוגל "לסנן" את האות שלא רצוי ו"להיפטר" מהרעש. נרצה לבנות מערכת הנדסית שתחקה פעולה זו. תחילה, נרצה לאפיין את האותות. האם הם דומים או שונים מבחינה ספקטרלית? (דהיינו, האם התדרים של האותות נמצאים בתחומים שונים, או בערך באותו תחום?) כיצד נוכל לעשות זאת? נרצה לדעת כיצד לנתח אותות אקראיים בתחום התדר. מה ניתן לעשות עם מערכת לינארית, למשל? אנו יודעים מהי תוצאת מערכת לינארית כאשר מפעילים אותה על אות דטרמיניסטי. לכן יש לדעת למדל אותות אקראיים, וכן לדעת את הקשר בין הקלט והפלט של המערכת הלינארית עבורם. דוגמא 2: העברת אינפורמציה ממקום א' למקום ב'. האינפורמציה היא תהליך אקראי (קריא, סדרה אינסופית של משתנים אקראיים): (למשל מתח בחוט טלפון). מכיוון שהעברה של מידע יכולה להיות ע"י אות רציף בלבד (מתח), נרצה להמיר את התהליך מסדרה בדידה לאות רציף. נניח שהתהליך הוא דוגמא להמרה אפשרית לאות אנלוגי: -3T -2T -T 0 T 2T 3T - הנוסחא שמתארת את הקשר בין האות הבדיד לאות הרציף בטרנספורמציה היא: כאשר P(t) הוא פולס ברוחב T ובגובה, החל מזמן 0. = 2 המודל הבסיסי ביותר לרעש במקלט הוא רעש גאוסי לבן - האות הנקלט הוא + =, כאשר קטן ככל שהמרחק אותו האות עובר גדל. 5 האות הנקלט ייראה, באופן סכמטי, כך: -3T -2T -T 0 T 2T 3T -

6 המקלט שלנו יחליט מהו לפי הסימן של ממוצע האות הנקלט על פני איטרוול. איך נמדוד את טיב המקלט? זו? נרצה ש- } Pr { יהיה קטן ככל האפשר. כיצד נמצא הסתברות 6

7 חלק א: משתנים אקראיים ווקטורים אקראיים חזרה על מושגים בסיסיים בתורת ההסתברות מרחב הסתברות מרחב הסתברות מוגדר ע"י השלשה {P,Ω}:,F Ω (מרחב המדגם): אוסף כל התוצאות האפשריות בניסוי. F (שדה המאורעות): מאורע הינו תת קבוצה של Ω. שדה המאורעות הוא אוסף של תתי קבוצות של Ω. שדה המאורעות סגור תחת חיתוך ואיחוד סופיים או בני מניה ותחת משלים, משמע:. F ו- אם N: F אזי גם F בפרט אם, F אזי גם F ו-. F P (פונקצית הסתברות): : F 0, (כלומר, P הינה פונקציה הממפה מאורעות לערכים בין 0 ל- ). על השלשה {P,Ω},F לקיים את האקסיומות הבאות: F, 0 = Ω (הסתברות המאורע הוודאי היא ). אם,, הינם מאורעות זרים, כלומר =, : אזי. = א. ב. ג. מתוך אקסיומות אלו נובעות בקלות התכונות הבאות: =0, = א. ב. ג. דוגמא 3: הטלת קובייה הוגנת ישנן 6 תוצאות אפשריות בניסוי, לכן {,2,3,4,5,6} =.Ω F יכול אוסף כל תתי הקבוצות של Ω (ישנן 2 תתי קבוצות). מה לגבי P? לכאורה יש להגדיר את P עבור 64 המאורעות, אך בעצם הדבר מיותר. ניתן להגדיר את P לפי ערכיה על המאורעות הבסיסיים בלבד. את ערכי P עבור המאורעות הנותרים נסיק ע"י האקסיומות של מרחב ההסתברות. P{} = P{2} = P{3} = P{4} = P{5} = P{6} = 6 כל מאורע אחר נוכל לקבל כאיחוד מאורעות זרים. למשל: מהו,P(B) כאשר {,3,5}=B? P(B) = P({,3,5}) = P({} {3} {5}) = P({}) + P({3}) + P({5}) = 2 דוגמא 4: הגרלה אחידה של נקודה בקטע [0,] 7

8 מרחב המדגם במקרה זה הוא כל הנקודות הנמצאות בין 0 ל- :.Ω = 0, F יהיה אוסף כל הקטעים המוכלים ב- 0, ואיחוד/חיתוך בן מניה של קטעים אלה. ההסתברות ליפול על נקודה בודדת בקטע היא 0, לכן לא נוכל להגדיר את P ע"י המאורעות הבסיסיים. P{[a,b]} = b-a עבור קטע, משתנה אקראי ובאופן דומה אורך כולל (מידה) עבור מאורע כללי. מכיוון שאיברי Ω הינם מופשטים, עבור כל ניסוי הקבוצה Ω בעלת אופי שונה (בהטלת מטבע למשל, {פלי,עץ} = Ω. בהטלת קובייה, {,2,3,4,5,6} = Ω). לכן נרצה למפות את איברי Ω לשפה אחידה: הציר הממשי. הגדרה: משתנה אקראי X הינו פונקציה המשייכת לכל תוצאת ניסוי ω Ω מספר ממשי,Xω כך שהקבוצה } {: הינה מאורע,. R משהגדרנו את X, השם של האיבר (צבע, צורה, מספר סידורי) לא רלוונטי לניתוח ההסתברות. הערות: מ"א יסומן באות גדולה. הדרישה שהקבוצה { :} הינה מאורע,. R הינה לרוב תנאי טכני שיתקיים אם נבחר מיפוי "טבעי"...2 ω ω ω Xω Xω Xω דוגמא 5: הגדרת מ"א בהטלת קובייה בהטלת קובייה נוכל להגדיר =,3,5 = 2 = 2,4,6 כלומר משמע תוצאת הטלה אי זוגית, ו- 2 תוצאת הטלה זוגית. 8

9 פונקצית התפלגות מצטברת, פונקצית צפיפות ופונקציה אופיינית עבור משתנה אקראי X ניתן לייצג את חוק ההסתברות בכמה אופנים:. פונקצית פילוג מצטבר (CDF) = :Cumulative Distribution Function () 0 (2) lim = (3) lim = 0 (4) (רציפות מימין ( = lim (5) > : (6) Pr < = תכונות של :CDF.2 פונקצית צפיפות הסתברות (PDF) Probability Density Function = = lim אם גזירה בנקודה אזי נגדיר: () = (2) Pr = = (3) : 0 (4) = תכונות של :PDF הערה: נשים לב שייתכן > PDF) אינה מתארת הסתברות אלא את צפיפות ההסתברות סביב נקודה מסוימת). מסקנה: כל עוד סופית, ההסתברות לקבל ערך בדיד היא 0. הגדרה: נאמר ש- X הוא משתנה אקראי רציף אם היא פונקציה רציפה לכל. R דוגמא 6: פונקצית PDF של משתנה נורמלי: 9

10 הגדרה: נאמר ש- X הוא משתנה אקראי בדיד אם היא פונקצית מדרגות. דוגמא 7: פונקצית הCDF בהטלת קובייה הוגנת: = /6 4/6 3/6 2/6 / את פונקצית ה- PDF של המשתנה האקראי הנ"ל נוכל לכתוב כסכום של הלמים: = =. = מכאן = = = = הגדרה: תוחלת של משתנה אקראי: = עבור משתנה אקראי בדיד נוכל לרשום גם: Pr = שלתוחלת משמעות של "מרכז המסה של הפילוג". הגדרה: מומנט מסדר n של משתנה אקראי: הגדרה: מומנט מרכזי מסדר n של משתנה אקראי: הגדרה: שונות של משתנה אקראי: = = = = הערה: מומנט ומומנט מרכזי של משתנה אקראי (ובפרט תוחלת ושונות) מוגדרים רק במקרה שבו האינטגרל מוגדר היטב. הערה: ידיעת מספר סופי של מומנטים (לרוב) נותנת מידע חלקי בלבד על ההתפלגות הגדרה: פונקציה אופיינית של משתנה אקראי X היא התמרת פורייה ההפוכה של ה- PDF של X: Φ = = () = Φ (2) Φ 0 = = (3) Φ = (4) = תכונות של פונקציה אופיינית = = = (5) = + Φ = Φ = 0

11 א'' תזכורת- תוחלת של פונקציה של מ : יהי Y מ"א שהינו פונקציה של מ"א X:,Y=g(X) אזי: = = הוכחת תכונה מספר 5: Φ = = = = Φ = = הגדרה: פונקציה יוצרת מומנטים של משתנה אקראי X = הערות: שימוש חשוב של פונקציה יוצרת מומנטים הוא חסם Chernoff (ראו תרגול). ידיעת הפונקציה האופיינית מתארת התפלגות של מ"א באופן מלא, ובכך שקולה לידיעת ה- { } CDF וה- PDF שלו. האם הכרת שקולה לכל אלה?..2 פיתוח Taylor של פונקציה אופיינית Φ =? Φ = =!! הערה: Φ אינה תמיד פונקציה אנליטית ולכן פיתוח טיילור לא תמיד מתכנס ל- Φ. קיימים בספרות תנאים מספיקים להתכנסות הטור.

12 וקטורים אקראיים הגדרה: וקטור אקראי הוא מיפוי מ- Ω ל- : Ω R R: המקיים ש: {:,, } הוא מאורע לכל. R כמו במשתנה אקראי יחיד, ניתן לתאר את המידע ההסתברותי על (וקטור אקראי) ע"י: (Joint) CDF. (Joint) PDF.2 פונקציה יוצרת מומנטים (משותפת) 3. הגדרה: CDF של ו"א: =,,, = Pr,, דוגמא : הגדרת ו"א בניסוי הטלת קובייה באמצעות CDF נגדיר משתנה אקראי שיציין האם תוצאת ההטלה היא מספר זוגי. נגדיר משתנה אקראי שיציין האם תוצאת ההטלה גדולה או שווה ל- 2. = 2 0 = = 2,4,6 = 0 =,3,5 נגדיר את הוקטור האקראי:, =, = = = 0, = = = 0, = 0 = =, = 0 = 0 F=0 F=/2 F=,0, F=/6 0,0 ה- PDF המשותף של ההתפלגות XY ה- CDF המשותף של ההתפלגות XY נוכל לרשום את ה- CDF במקרה זה באופן הבא:, = תכונות של CDF של ו"א:. 0 2.,,, = 3. :,,,,,, = 0 הסבר: זהו בעצם מאורע שדורש, לכן הסתברותו היא :,,,,,, = Pr = היא פונקציה מונוטונית לא יורדת בכל. משתנה.5 2

13 ה: איך מחשבים הסתברות של מלבן? Pr = + Δ, + Δ, + Δ + Δ, +, + Δ S + Δ ואם התחום S אינו מלבן? נחלק אותו להמון מלבנים קטנים, שאת ההסתברות של כל-אחד מהם בנפרד אנחנו יודעים לחשב, ואז נסכום., = lim Pr + Δ, + Δ = ΔΔ הגדרה: PDF של ו"א: = lim + Δ, + Δ, + Δ + Δ,, =, דוגמא 2 גדרת ו"א בניסוי הטלת קובייה באמצעות PDF נשתמש בפונקצית ה- CDF שהגדרנו בדוגמא. את הגזירה מבצעים תחילה לפי משתנה אחד, ואז לפי המשתנה השני., = + + Pr R = Pr R =, תכונות של PDF של ו"א:. חישוב הסתברות של תחום כלשהו (לאו דווקא מלבני): מקרה דו-מימדי:, מקרה n -מימדי: =, פילוג שולי מקרה דו-מימדי:.2,,,, במקרה ה =,,, n -מימדי נרצה לדעת מהי (כאשר < <.( נסמן את שאר המשתנים ב-.,, אזי:,,,, =,,,, כלומר, אנו עושים אינטגרציה מ- עד על כל המשתנים מהם נרצה "להיפטר". 3

14 דוגמא 3: ו"א גאוסי דו-מימדי במקרה הדו-מימדי ("התפלגות דו-נורמלית"), משפחת התפלגות זו מאופיינת ע"י 5 פרמטרים: - η התוחלות של X ושל Y בהתאמה., η -, השונויות של X ושל Y בהתאמה..( ρ מקדם המתאם (דרישה: - ρ, = η 2 2 פונקצית ה- PDF המשותפת (עבור :(ρ 2 η η + η 2 2.~η,~η,, טענה: הפילוגים השוליים בהתפלגות דו-נורמלית הם נורמליים (הערה: מידיעת,.(, לא ניתן לקבוע את נשים לב שהמקום הגיאומטרי של כל הנקודות המקיימות, = הוא אליפסה שמרכזה.η, η בציור משמאל, = 0.5 ρ, התוחלות הן 0, =, = 2 Pr תזכורת: פילוג מותנה: אם A,B מאורעות ו- 0, Pr אזי נניח (X,Y) וקטור אקראי. נגדיר שני מאורעות., Pr =,,, = =, S y S x התניה נקודתית לעיתים נרצה להתנות מאורע מסוים במאורע נקודתי. נשים לב שעבור מ"א רציף, הסתברות המאורע הנקודתי היא אפס (למשל:, Pr = כאשר Y הוא משתנה אקראי רציף). אזי נגדיר את ההסתברות ע"י גבול: 4

15 Pr = Pr, + y, lim = lim Δ 0 Pr + Δ 0 y Δ 0,, Δ 0 =. = הסבר המעברים: () כותבים את ההסתברות ע"י ה-,PDF כופלים ומחלקים ב- משנים סדר אינטגרציה. היא פונקציה רציפה לכן בקטע y מאוד קטן נוכל להחליף את האינטגרל בכפל. הכפל ב- y מבוטל עם הכפל ב- -. =, הערה: אם = 0 אזי ההתניה הנקודתית אינה מוגדרת. Pr = = הגדרה: CDF מותנה:, הגדרה: PDF מותנה: = = = =, נוסחת Bayes נשים לב שמתקיים:., = = לכן: = =,, Pr = = Pr = Pr = = = Pr = Pr = = נוסחת ההסתברות השלמה תזכורת: במקרה הבדיד: (2) (3) אי תלות סטטיסטית נאמר ש- X,Y בלתי תלויים סטטיסטית (בת"ס) אם מתקיים שלכל מאורע, מתקיים :.Pr, = Pr Pr., = 2., = 3. =, = = מכאן נובע שאם X,Y בת"ס אזי: טענה: כ"א מהתנאים הנ"ל מהווה הגדרה שקולה לכך ש- X,Y בת"ס. 5

16 הכללה לוקטור אקראי n -מימדי: עבור ו"א =,,, נאמר שרכיביו בת"ס אם"ם,,, =. = + = + 2. = = 3. ~, ~, הגדרה: תוחלת מותנית: = הגדרה: שונות מותנית: טענות לגבי התפלגות דו-נורמלית הערות:. נשים לב ש- קבוע לכל, וכן קבוע לכל. 2. כאשר השונויות המותנות מתקרבות ל- 0. כאשר גאוסיאן מצטמצם ברוחבו, הוא הופך, = = (למעשה, הפילוג המותנה של Y הופך ל- ל-. כלומר:.( = 6 האם הפילוג המשותף של 2 משתנים אקראיים גאוסיים הוא בהכרח גאוסי? לא. דוגמא 4: משתנים גאוסיים שהפילוג המשותף שלהם אינו גאוסי: יהי X משתנה אקראי גאוסי,~0, ויהי B משתנה בת"ס ב- המקבל את הערכים -, בהסתברויות שוות. נגדיר את המשתנה האקראי Y באופן הבא:. = נראה כי ~0, וכי הפילוג המשותף של X ושל Y אינו נורמלי. לפי נוסחת ההסתברות השלמה נוכל לתאר את ההתפלגות של Y באופן הבא: = Pr = + Pr = נגזור את המשוואה הנ"ל ונקבל: = Pr = + Pr = = = 2 + = 2 + = 2 קיבלנו ש-.~0, כעת נותר להראות שהפילוג המשותף אינו נורמלי:, = = = y יכול להיות x- או x בהסתברויות שוות (0.5 כ"א). (*) בהינתן,x

17 על כל אחד מהאלכסונים הפילוג הוא נורמלי בגובה 0.5 בכל שאר התחומים הפילוג הוא 0. f=0 -x /2 x זהו אינו פילוג גאוסי במשותף כי הפילוג המותנה של y בהינתן x הוא צמד הלמים! f=0 f=0 f=0 ואילו בפילוג גאוסי משותף הפילוג המותנה הוא גאוסי. הלם הוא פילוג גאוסי אפשרי רק אם לגאוסיאן שונות אפס, אך בכל מקרה שני הלמים אינם אפשריים לפילוג גאוסי. פונקציה של וקטור אקראי נתונה ההתפלגות., מגדירים את המשתנה האקראי Z באופן הבא: : Ω R, : R R, =, Y = Pr = Pr, = Pr,, מהי ההתפלגות? = כאשר בהינתן S R ו-,: R R מגדירים: }. = {, :, לכן: }., = {, :,,,, = Pr = Pr + =, =, עבור, Y בת"ס, נקבל: = = דוגמא : : = + (0,Z) X+Y=Z (Z,0) הערה: אם עושים קונבולוציה בין הרבה מ"א שווי-פילוג ובת"ס, אזי מתכנסים לגאוסיאן. תכונות של (והערות על) תוחלת של ו"א ותוחלת של פונקציה של ו"א = תכונת ההחלקה: נתון ו"א,, Y ורוצים לחשב את התוחלת של Y: =, = = = = = =. = 7 2. משפט התוחלת (תוחלת של פונקציה של ו"א): נניח. =, Y =,,

18 = ההוכחה זהה למקרה החד מימדי. הכללה למקרה ה n -מימדי: משפט ההחלקה עבור פונקציה של ו"א:, Y =, Y, = =, = סימון, Y.3 דוגמא 2: חישוב מומנטים מסדר כלשהו של :Gaussian Mixture יהי X מ"א עם הפילוג הבא ) :(0 = בתרשים הנ"ל, =s,0.35=a. הגרף הנמוך מתאים להתפלגות עם שונות 9, והגרף הגבוה להתפלגות עם שונות. הגרף האמצעי מתאר את ה"ממוצע" המשוקלל של שתי ההתפלגויות.. = נרצה לחשב את ניתן לקבל משתנה בעל פילוג זהה באופן הבא: נגדיר את המ"א הבאים (בת"ס אחד בשני): ~0,, ~0, 0, = = + מתקיים:. = נוכיח: 8

19 ע( = Pr = 0 = 0 + Pr = = = + = יצרנו משתנה אקראי שהוא פונקציה של 3 משתנים אקראיים:. =,, המסקנה היא ש-. = =,, = =,, =,, = = + = = = Pr = 0 + = 0 + Pr = + = = a + חישבנו בשיעורי הבית. את התוחלות, הערה: את תוצאה זו יכולנו לקבל ישירות גם ע"י חישוב התוחלת לפי הגדרה. יהיו מקרים בהם חישוב התוחלת לפי ההגדרה יהיה מסובך, ובשיטה זו נוכל להתגבר על כך. מומנטים משותפים בהינתן זוג משתנים אקראיים X,Y הגדרה: מומנט משותף מסדר :n,k "י פונקצית צפיפות משותפת) נגדיר:, = =, הגדרה: מומנט מרכזי משותף מסדר :n,k, = =,, =, =, = =, =, = דוגמא 3: מומנטים מסדרים שונים שונות משותפת :(Covariance) נגדיר את השונות המשותפת של X ו- Y באופן הבא:, =, = = הגדרה: נאמר ש- X,Y חסרי קורלציה (חס"ק) אם = 0., טענה: אם X,Y בת"ס אזי הם חסרי קורלציה. = = תזכורת: טענה: אם X,Y חס"ק, אזי. + = + + = + = + = = = הוכחה: 9

20 = + 2, + = חס"ק + מ.ש.ל. ב- גודל זה מודד עד כמה ניתן לקרב את התלות של. =, = הגדרה: ע"י = (תלות לינארית בין X ו- Y העוברת דרך ראשית הצירים). =, =. מקדם הקורלציה מודד עד כמה ניתן הגדרה: מקדם הקורלציה של X ו- Y : לקרב את התלות של ב- ע"י = + (תלות לינארית כלשהי בין X ו- Y) הגדרה: משתנים אקראיים X,Y הם אורתוגונליים אם מתקיים = 0. טענה: אם = 0, אזי המשתנים X,Y אורתוגונליים. טענה: אם = 0, אזי המשתנים X,Y חס"ק. טענה: אם X,Y הם אורתוגונליים וידוע ש- = 0 או = 0, אזי הם חס"ק. טענה: אם X,Y חס"ק וידוע ש- = 0 או = 0, אזי הם אורתוגונאליים. Cauchy- זו נקראת אי שוויון (טענה טענה:..2 הוכחה: תחילה נוכיח ש-.(Schwartz הוכחת אי שוויון :Cauchy-Schwartz 0 = 2 + = נגדיר נתבונן בפונקציה : 20 הפונקציה היא פרבולה מחייכת אי שלילית, לכן בפתרון המשוואה הריבועית המתארת אותה, מתקיים 0 (ישנו פתרון יחיד או שאין פתרונות למשוואה). 0 = 4 = 4 4 (*) אי השוויון מתקיים לכל. לינארי בין X ל- Y. נשים לב כי מתקבל שוויון אם"ם, = כלומר ישנו קשר נחזור להוכחת הטענה: לפי אי שוויון,Cauchy-Swartz. 2.,,, מ.ש.ל.

21 מסקנות:.( = ) = כך ש- אם"ם קיימת =. = אם"ם קיימת כך ש- =.2 ל- Y. X במקרה זה נאמר שיש תלות לינארית בין ). = ( ההבדל בין מקרה זה למקרה הקודם הוא שבמקרה הקודם הישר שמתאר את התלות הלינארית בין X ל- Y עובר דרך ראשית הצירים, וכאן לא בהכרח. דוגמא :4 התפלגות דו-נורמלית :, ~,,,, את השונות המשותפת של Xושל Y נוכל לחשב באופן הבא:., = = +. השונות כזכור, התוחלת המותנית של X בהינתן Y היא. המותנית היא = כאשר ±,, 0 כלומר הפיזור של = הופך לערך יחיד. הערך הזה הוא = ± מומנטים מסדר כלשהו של ו"א n יהיה... X X = ו"א. נגדיר את המומנט k N באופן הבא: m k n = E X m= n µ k = E m= km m ( X E{ X }) m m km n k באופן הבא:. k n n N n [ ] X n ואת המומנט המרכזי סדר המומנט הוא סכום איברי הוקטור פונקציה אופיינית משותפת Φ ω = X X,Φ הגדרה: הפונקציה האופיינית המשותפת של ו"א, = היא ω = X.( 0 = 0,0,,0 כאשר.ω = ω, ω,, ω לפי משפט התוחלת: תכונות של פונקציה אופיינית משותפת Φ (כאשר 0 = בנוסף:. ω R : Φ ω. Φ ω = Φ 0,,0, ω פונקציה אופיינית שולית:, 0,,0 התמרת פורייה הפוכה:.2.3 2

22 = Φ ω ω חישוב מומנטים באמצעות הפונקציה האופיינית ) :( = + + +,,, = = Φ ω.4 = A +, A R, Φ = Φ השפעת טרנספורמציה לינארית על הפונקציה האופיינית: R Φ ω, = Φ ω Φ אם, ו"א בת"ס אזי.5.6 סטטיסטיקה מסדר שני של וקטורים אקראיים X בהינתן ו"א, = נוכל לחשב את התוחלות, את השונויות ואת השונויות המשותפות של X = =,,, =,,,,,,,,,,,,, =, = =,,,,,,, X רכיביו באופן הבא:,,, EX EX η = הגדרה: וקטור התוחלת של הוא EX = = הגדרה: מטריצת הקורלציה של היא הגדרה: מטריצת ה Covariance של היא Cov, = η η =, תכונות של מטריצת הקורלציה ומטריצת ה :Covariance,, = ראה עמוד.(9 C = R η η (לפי הקשר:. Positive Semi Definite היא A R (מוגדרת אי-שלילית) אם היא סימטרית וגם b R : b Ab 0 הגדרה: 22

23 תזכורת: אם A R היא Positive Semi Definite אזי הערכים העצמיים של A הם אי-שליליים. i. קיימת מטריצה אלכסונית Λ ומטריצה אורתונורמלית P (כלומר ) = כך ש:.ii λ 0 0 P 0 AP = Λ = λ R ו- C הן מטריצות אי-שליליות מוגדרות Definite),(Positive Semi כלומר סימטריות.2 בעלות ערכים עצמיים אי שליליים וניתנות ללכסון אורתונורמלי. נוכיח ש R אי שלילית מוגדרת. אומנם R סימטרית. צ"ל: 0 b. b R : b R. = כלשהו. נגדיר מ"א b = 0 = = = = = = R b b b יהי A R, R, R i. EAZ = ii. EZC = iii. EZ + B = EZ + B (*) עבור מטריצה אקראית Z ומטריצות דטרמיניסטיות מתקיים: ניתן להוכיח באותו אופן ש- C היא Positive Semi Definite ע"י הגדרת. = η הערות: אם R אלכסונית נשים לב שרכיבי אורתוגונליים הדדית.. אם C אלכסונית נשים לב שרכיבי חס"ק באופן הדדי. 2. X Y X = Y, Y = היא: הגדרה: מטריצת הקרוס קורלציה של ו"א X Y R, = Y = X Y X = Y, Y = היא: הגדרה: מטריצת הקרוס Covariance של ו"א X Y,, C, = η Y η =,, תכונות של מטריצות קרוס קורלציה וקרוס :Covariance 23

24 C, = C,R, = R. C, = C,, R, = R,. 2 מעבר וקטור אקראי דרך מערכת לינארית X יהיו = ו"א, b R וקטור דטרמיניסטי ו- A R מטריצה דטרמיניסטית. X נגדיר את הו"א. = + X. η = η + בהינתן C (או R) ו- η, נוכל לחשב את הגדלים הבאים: 2. C = = + η + η = η η = C 3. R = + + = R + η + η + 4. R, = + = R + η R, = + = R + η 5. C, = + η η = η η = η η = C וקטור גאוסי בהרצאות הקודמות בחנו התפלגות דו-נורמלית, שהיא בעצם מקרה פרטי של וקטור גאוסי עבור.n=2 הגדרה: יהי = ו"א. ייקרא וקטור גאוסי אם R מתקיים שהמשתנה האקראי X <, >= הוא משתנה אקראי גאוסי. = X X X מסקנות מתוך ההגדרה:. אם הוא וקטור גאוסי אזי כל אחד מרכיביו הוא משתנה גאוסי. הוכחה: נובע ישירות מההגדרה ע"י בחירת = (וקטורי הבסיס הסטנדרטי: כל רכיביו הם 0 פרט לאינדקס אחד שבו מופיע הערך ). אם וקטור גאוסי ממימד A R,n ו- b R אזי = + הוא וקטור גאוסי ממימד m:.2 24

25 = + b = R Φ ω = משתנה גאוסי לפי הגדרה + משתנה גאוסי = b קבוע טענה: אם וקטור גאוסי בעל תוחלת η ומטריצת שונות משותפת C, אזי הוכחה: נתבונן במשתנה האקראי Y. = ω מכיוון ש- הוא וקטור גאוסי, ידוע ש- Y הוא משתנה אקראי גאוסי. הראנו בשיעורי הבית שהפונקציה האופיינית של משתנה גאוסי היא: Φ = = הקשר בין הפונקציות האופייניות של ושל Y הוא: Φ ω = = = = Φ = η = η = C לכן נותר לנו להביע ואת במונחים של η ו- C. את זה עשינו בהרצאה 4: Φ ω = ומכאן ש- מ.ש.ל = כעת, נניח שידוע ש, ~η, C ו- C הפיכה. אזי ע"י התמרת פורייה הפוכה נקבל: הערות:. נשים לב שעבור 2=n הנוסחא המתקבלת מתלכדת עם הנוסחא שראינו בעבר להתפלגות דו- נורמלית. 2. אם הוקטור הוא וקטור גאוסי אזי רכיביו בת"ס אם"ם מטריצת השונות אלכסונית: λ : C = λ = e : λ היא אי שלילית מוגדרת מאחר שהערכים העצמיים שלה הינם C = Λ = Λ. : λ מכיוון ש > 0 : λ, מתקיים גם > 0 4. המשוואה = מתארת אליפסואיד n מימדי (ראה תרשימים בהמשך)..3 η איך מייצרים וקטור גאוסי? נרצה ליצר וקטור גאוסי ממימד n בעל תוחלת ומטריצת שונות משותפת C. 25

26 נפתח את הדיון במקרה הפוך: נניח שיש בידינו וקטור גאוסי בעל תוחלת η ומטריצת שונות משותפת C, וברצוננו ליצר וקטור גאוסי בעל תוחלת 0, שרכיביו בת"ס זה בזה. תחילה נפחית מ- את וקטור התוחלת שלו. המשותפת שלו היא C. נקבל וקטור גאוסי שתוחלתו 0, ומטריצת השונות מכיוון ש- C היא אי שלילית מוגדרת, אנו יודעים שקיימות מטריצה אורתונורמלית P ומטריצה אלכסונית,Λ כך ש-.Λ = C לכן, נפעיל על הקטור החדש שקיבלנו את הטרנספורמציה. נסמן את הוקטור שהתקבל ב-. אזי מתקיים:.C = C P = Λ מכיוון ש- C אלכסונית, אנו יודעים שרכיבי הוקטור בת"ס, כפי שדרשנו מלכתחילה. η לכן על מנת לייצר וקטור בעל תוחלת η ומטריצת שונות משותפת C, ניצור וקטור גאוסי שרכיביו בת"ס זה בזה, ונעביר אותו דרך המערכת ההפוכה למערכת שלעיל: η ~0, ~0, Σ Σ η ~0, במקרה הדו מימדי, שלבי הטרנספורמציה ייראו כך: 26

27 = הסבר: הוקטור הוא וקטור גאוסי שרכיביו בת"ס ומתפלגים באופן הבא: ~0,, ~0,2 = = = על מנת לקבל את הוקטור ומכאן שמטריצת השונות של היא:, השתמשנו בטרנספורמציה הלינארית הבאה: = + 2 η = η + 2 = 2 = התוחלת של היא כשל η = η = 0 : את הוקטור קיבלנו ע"י הוספת וקטור קבועים ל- : מטריצת השונות של שווה למטריצת השונות של. דוגמא : וקטור אקראי במטוס ישנם 00 נשים ו- 200 גברים. נסמן: i משקל האישה ה- - i משקל הגבר ה- - ידוע שמשקלי הנשים מתפלגים i.i.d עם תוחלת η ושונות תוחלת ושונות. משקלי הנשים ומשקלי הגברים בת"ס., ומשקלי הגברים מתפלגים i.i.d עם η - = משקל הנשים הכולל. - = משקל הגברים הכולל. - = + המשקל הכולל של נוסעי המטוס. נגדיר: 27

28 מכיוון שמשקלי הנשים וכן משקלי הגברים מתפלגים i.i.d (ומספרם גדול), נוכל לקרב את ההתפלגות של ואת ההתפלגות של ע"י התפלגות נורמלית: ~00η, 00, ~200η, 200 גם הוא מתפלג נורמלית, כסכום של שני משתנים נורמליים בת"ס. ~ 00η + 200η, כעת, הוקטור הוא וקטור גאוסי. למה? W כאמור, המשתנים, הם משתנים גאוסיים בת"ס, לפי משפט הגבול המרכזי. אזי הוקטור הוא וקטור גאוסי. נקבל את הוקטור כטרנספורמציה לינארית על הוקטור, W 0 = 0 W ומכאן שהוא וקטור גאוסי בעצמו: נתבונן כעת במקרה פרטי של ההתפלגות:. ~0,, ~0, אזי C = C = A C A = = 0 2 נשים לב ששורותיה (ועמודותיה) של המטריצה C תלויות לינארית. יכולנו לצפות עובדה זו מראש, מפני שיצרנו וקטור גאוסי בעל 3 רכיבים מוקטור גאוסי בעל 2 רכיבים. באופן כללי, אם ננסה ליצור וקטור גאוסי בעל n רכיבים מוקטור גאוסי בעל k<n רכיבים, אזי נקבל רכיבים מנוונים בוקטור שיצרנו (כלומר רכיבים שיש ביניהם תלות דטרמיניסטית). מכיוון שישנה תלות לינארית בין שורותיה של המטריצה C, היא אינה הפיכה, ולא נוכל להשתמש בנוסחא שתוארה בתחילת השיעור על מנת לחשב את.,,y w לכן נחשב את פונקצית הצפיפות המשותפת ע"י פילוגים מותנים:, y, w =,, נשים לב ש:. = בת"ס, לכן ו-. 2. ההתפלגויות של ושל הן נורמליות סטנדרטיות..3 בהינתן ו-, ערכו של קבוע:, = + כלומר פונקצית ההתפלגות המותנית של היא:,, = +, y, w = = + + = מכאן ש: 28

29 דוגמא :2 מערכת Output) MIMO (Multiple Input Multiple T x R x משדר מקלט תיאור הבעיה: ברשותנו משדר בעל שתי אנטנות ומקלט בעל שתי אנטנות. כל אנטנה של המקלט קולטת סיגנלים המשודרים מכל-אחת מהאנטנות של המשדר. כלומר, האות הנקלט בכל-אחת מהאנטנות של המקלט הוא צירוף לינארי של האותות המשודרים מהמשדר, בנוסף לרעש. לכן נוכל לייצג את הוקטור באופן הבא:, = + כאשר היא טרנספורמציה לינארית R והוקטור הוא הרעש. = h + h + = h + h + =.. בת"ס. כמו-כן. ~0,,,,, וש- ) נניח ש-.. אם אלכסונית, אזי המשמעות ההנדסית היא שכל אנטנה במקלט קולטת אות המשודר מאנטנה אחרת של המשדר, ונוכל לשערך את האות המשודר ע"פ הערך הנקלט באופן הבא: = h + = /h = = h + = /h = כעת נתבונן במקרה כללי יותר בו היא מטריצה הפיכה, והמטריצה ההפוכה לה היא : = = + = + = + = + C = 0 0 נשים לב ש- הוא וקטור גאוסי כטרנספורמציה לינארית של וקטור גאוסי, ורכיביו, תלויים סטטיסטית. ניתן לשערך את באותה צורה כמו מקודם (רק שכעת הוקטור מוגדר אחרת): = = נשים לב שמאורעות השגיאה:, תלויים סטטיסטית. מדוע? 29

30 שערוך משתנים אקראיים קופסא שחורה סטטיסטית = מטרה: בהינתן נרצה לשערך את.. נקרא המשערך של X = הגדרה: שגיאת שערוך:. = = הערה: הוא משתנה אקראי, למרות שאנו מסמנים אותו באות קטנה. נרצה ש- יהיה קטן ככל האפשר. מדדים לטיב השערוך מינימום הסתברות שגיאה (עבור מ"א בדיד בלבד) אם בדיד, ניתן להגדיר משערך שיביא הסתברות שגיאה למינימום: Pr = Pr = Pr 0 כלומר, הקריטריון הוא = arg {Pr } פתרון: מקסימום אפוסטריורי (MAP) נתבונן ב- Pr = = ונבחר את ה- שמביא את ההסתברות המותנית למקסימום: = arg {Pr = = } הבהרה: לפי הקשר,Pr = Pr = כדי להביא למינימום את הסתברות השגיאה, עלינו למקסם את ההסתברות שהשערוך יהיה נכון, וזו בדיוק משמעות השוויון שלעיל. הערות: נשים לב שבמדד שגיאה זה אין חשיבות לגודל השגיאה. () במקרים רבים נרצה "לקנוס" במידה רבה יותר שגיאות גדולות. (2) בפרט, אם רציף, תמיד תהיה שגיאה ולכן למדד זה אין תוקף. (3) שערוך אופטימלי במובן Error) MMSE (Minimum Mean Square נגדיר משערך אופטימלי במובן,MSE כלומר נדרוש שתוחלת ריבועי השגיאות תהיה מינימלית: פתרון: משערך תוחלת מותנית טענה: () (2) משערך ה- MMSE הוא = = עבור = מתקיים: הוכחה: () תהי כלשהי. E = = = נוכיח 30

31 = = החלקה = = = = נרצה להביא את תוצאת האינטגרל למינימום. האיבר היחיד באינטגרל עליו יש לנו שליטה (כלומר,. אם לכל y נעשה נוכל לקבוע אותו כרצוננו, ואינו נובע מההתפלגות של x ושל y) הוא את הניחוש הכי טוב האפשרי, אזי נקבל את התוצאה הקטנה ביותר האפשרית לאינטגרל. לכל y ננחש את הערך = כך ש- h יהיה מינימלי. נמצא את הנקודה בה מתקבל המינימום ואת ערך המינימום באמצעות נגזרת: = = 2 = = = 0 ומכאן ש:. = = נציב את הערך שקיבלנו ל בביטוי שקיבלנו ל, כדי למצוא את תוחלת ריבוע שגיאת השערוך האופטימלי: = = = = נסמן (2) שערוך לינארי אופטימלי במובן MSE נגדיר משערך לינארי להיות פונקציה לינארית של. = + : משערך לינארי אופטימלי BLE הינו, =, min = = () = + (2) = = = = = + = פתרון: טענה: הוכחה: שגיאת השערוך היא: נשים לב ש: 3

32 כלומר לא תלוי ב-. לכן, כדי להביא את למינימום לפי, עלינו להביא את למינימום לפי. זה יקרה כאשר = ואז נקבל = 0. כלומר לכל, כדי להגיע לתוחלת שגיאה ריבועית מינימלית אפשרית, נבחר. = במקרה זה, תוחלת השגיאה הריבועית תהיה (כפונקציה של ): = = = = = 2 + = = 2 + כעת נחשב עבור איזה הביטוי הנ"ל מקבל ערך מינימלי: = = 0 = = נציב את התוצאה שהתקבלה חזרה ב- המינימלית: כדי למצוא את תוחלת השגיאה הריבועית = 2 + = 2 = + = + נשים לב שככל ש- מתקרב ל-, השגיאה שלנו קטנה ולכן השערוך של כפונקציה לינארית של הוא יותר מדויק ( מתקרב ל- מתקרב סטטיסטית להיות פונקציה לינארית של ) תכונות של משערך MMSE לינארי / אופטימלי = 0, = = 0, = () חוסר הטיה: תוחלת המשערך שווה לתוחלת המשוערך:, R: + = 0 ניצבות: א. = +, = הינו BLE אם"ם כלומר,, R: +. נשים לב שמתקיים: = 0. (2) הוכחה: = +. ( ) ידוע ש- = + הינו.BLE לכן, + = + = = תכונה,לפי 32

33 = = + = = + = + = = 0 נסביר את השוויון האחרון:. והאיבר השלישי הוא, האיבר הראשון בסכום הוא (i) (ii) האיבר השני והאיבר הרביעי שווים כ"א ל- 0. ( ) נתון ש- = 0., R: + יהי = + ו- = + משערך לינארי כלשהו. נראה ש: כלומר, ריבוע שגיאת השערוך בכל משערך לינארי אחר גדולה או שווה לריבוע שגיאת השערוך של משערך ששגיאתו מקיימת את הנ"ל. לכן משערך זה הוא האופטימלי: = + = = אי שלילי + 2 = : = + = = + = + = לפי נתון 0 h : h = 0 ב. = הינו משערך אופטימלי אם"ם פיתגורס: = + א. = + ב. (3) = + = = מתאפס לפי תכונה = + הוכחה: עבור ו"ג,. X = Y (4) תמונה גיאומטרית של המשערכים נבחין שאוסף כל המשתנים האקראיים האפשריים בעלי מומנט שני סופי סגור תחת קומבינציה ליניארית, ולכן הוא מרחב וקטורי. בנוסף, ניתן להגדיר מכפלה פנימית באופן הבא: הגדרה: מכפלה פנימית של מרחב הסתברות: <, =< קל להראות שהגדרה זו אכן מקיימת את האקסיומות של מכפלה פנימית. הגדרה: נורמה של משתנה אקראי: =<, >= 33

34 . cos, =, = הגדרה: הזוית בין X ו- Y היא: כעת נוכל להסביר את תכונת הניצבות באופן גרפי: = = תת מרחב: הפונקציות הלינאריות של Y h h = = שערוך וקטור אקראי קופסא שחורה סטטיסטית = (כעת היא פונקציה וקטורית),, = = =,, משמעות הסימון = היא: משערך ייקרא אופטימלי אם :. = נשים לב שכדי לדעת כיצד לשערך וקטור אקראי לשערך כל משתנה אקראי בנפרד. הוקטור המשוערך השערוך. מתוך וקטור אקראי מספיק לדעת יהיה הוקטור שרכיביו הם כל פונקציות שערוך אופטימלי של משתנה אקראי מתוך וקטור אקראי טענה: = = 34

35 הוכחת הטענה זהה לשערוך של משתנה אקראי מתוך משתנה אקראי יחיד. שגיאת השערוך במקרה זה היא: = = שערוך לינארי אופטימלי של משתנה אקראי מתוך וקטור אקראי = + = נרצה למצוא, כך ש יהיה מינימלי. = = = + הגדרה: משערך לינארי הוא משערך מהצורה + שגיאת השערוך היא. = נראה תחילה שכמו במקרה של שערוך מתוך מ"א, גם כאן אינו תלוי ב-. לכן נבחר את ערכו של להיות כזה שיביא למינימום את. דהיינו נבחר שמאלץ = 0 : 0 = = = דרישה למעשה, בהינתן כלשהו, ה- האפשריים. הנ"ל מביא את השגיאה הריבועית למינימום מתוך כל ה- = כעת נמצא את שעבורו מינימלי: = = + + לפי בחירת = = = = = 2 + = 2 + ) והשוואת הנגזרת ל- 0 : = = 0 = נמצא עבור איזה מתקבל מינימום ע"י גזירת הביטוי (לפי = הערה: את הגזירה לפי הוקטור מבצעים ע"י כתיבת המכפלות באופן מפורש, גזירה, וכינוס חזרה לכתיב וקטורי. השערוך הלינארי האופטימלי הוא, אם כן: = + = + = = = שגיאת השערוך היא: תכונות של משערך כללי / לינארי אופטימלי (ללא הוכחה) 35

36 חוסר הטיה: תוחלת המשערך שווה לתוחלת המשוערך: = 0, = = 0, = תכונת הניצבות: א. =,, הוא אופטימלי אם"ם = 0 h : h,, ב. = + הוא BLE אם"ם R, R : + = 0 פיתגורס: א. = + = + ב. () (2) (3) שערוך וקטור אקראי מתוך וקטור אקראי = = משערך אופטימלי: משערך לינארי אופטימלי:, =,, = =,, =, =,, =, =, + = +, =,, תכונות של משערך כללי / לינארי אופטימלי (ללא הוכחה) = 0, = () חוסר הטיה: תוחלת המשערך שווה לתוחלת המשוערך: = 0, = תכונת הניצבות: א. = הוא אופטימלי אם"ם = 0 h. h, : בנוסף במשערך וקטורי מתקיים = 0 h לכל פונקציה וקטורית של, המסומנת h ב. = + הוא BLE אם"ם R, R, :, + = 0 ומכאן שמתקיים R, R : + = 0 (2) פיתגורס: = + א. = + ב. (3) 36

37 37

38 א'' חלק ב: תהליכים אקראיים מבוא לתהליכים אקראיים הגדרה: תהליך אקראי בזמן רציף הוא פונקציה המשייכת לכל זמן ממשי.: R Ω R, N נסמן:, או בקיצור. ותוצאת ניסוי ω Ω מספר הגדרה: תהליך אקראי בזמן בדיד הוא פונקציה המשייכת לכל זמן ותוצאת ניסוי ω Ω מספר ממשי.: N Ω R, N נסמן:., במקרה זה נסמן גם. הגדרה: פונקצית המדגם (Realization) היא הפונקציה הדטרמיניסטית המתקבלת מהמשתנה האקראי או ע"י הקפאת משתנה מרחב המדגם ) ) = בעוד שמשתנה הזמן רץ. הערה: אם מקפיאים את משתנה הזמן ) ), = כלומר דוגמים את התהליך האקראי מקבלים משתנה אקראי. נוכל לחשוב על תהליך אקראי כעל וקטור אינסופי: תהליך אקראי בזמן רציף הוא וקטור ש"אורכו" עוצמת הרצף (ℵ); תהליך אקראי בזמן בדיד הוא וקטור ש"אורכו" אינסופי בן-מניה.(ℵ ) Ω ω t פונקציה אקראית עם ארגומנט זמן X ( t, ω ) ) ω X ( משתנה אקראי ) ( ) ( ),..., ( X וקטור אקראי ω X n ω = X ω { X ( ω ), X ( ω ),..} 2 סדרה אקראית Ω =מרחב המדגם ω Ω =תוצאות ניסוי, התרחשות F= מאורעות = איחוד של ω -ות הסתברות של מאורע בF = P מ = פונקציה של ω דוגמאות לתהליכים אקראיים בחיי היומיום ובהנדסה. : מיקום של חלקיק של חומר שמתמוסס בחומר אחר (דיפוזיה). 2. : טמפרטורת גוף של אדם (או כל אות ביולוגי אחר, למשל: א.ק.ג). 3. רעש תרמי: מתח שנובע מתנועות אלקטרונים עקב חום. 4. : מספר האנשים הממתינים בתחנת אוטובוס, מספר שיחות הטלפון המגיעות למוקד, מספר החבילות המגיעות ליעד מסוים וכן הלאה. למוקד, החבילה ה- n... שמגיעה לתחנה, השיחה ה- n n -י זמן ההגעה של: האוטובוס ה- : שער הדולר היציג ביום ה- n. $: :, עוצמת ההארה של הפיקסל ה-, במסך דו מימדי. 7. : ערך הביט ה- n כשמורידים קובץ JPEG מהאינטרנט. נשים לב שהערך אותו יכול לקבל התהליך האקראי הוא רציף או בדיד, כמו גם ציר הזמן המתאר את התהליך. ייתכנו כל השילובים האפשריים (ערך בדיד בזמן בדיד, ערך בדיד בזמן רציף, ערך רציף בזמן בדיד וערך רציף בזמן רציף). נמיין את התהליכים שבדוגמא לפי הקריטריונים הנ"ל: ערך רציף זמן דיפוזיה, רציף רעש תרמי, טמפרטורה (אות ביולוגי) שער הדולר (*) בדיד בדיד, (*) נניח שרמת הדיוק אינה מוגבלת ל- 3 ספרות אחרי הנקודה העשרונית 38

39 נצייר תרשימים המתאימים לתיאור פונקציות מדגם של התהליכים האקראיים, לפי המיון לעיל: 3 זמן רציף ערך רציף בדיד בדיד דוגמא : אקספוננט אקראי: 0 A, B ; = A, משתנים אקראיים.,Ω = {,, }.,, כאשר המאורעות הם המאורעות הבאים: מרחב המדגם: = { =, = 0}. = { =, = } =. = { = 2, = } = 2. נצייר את פונקציות המדגם במקרה זה:. = =. 2. הגרף העליון מתאים לפונקצית המדגם עבור. = הגרף האמצעי מתאים לפונקצית המדגם עבור. = הגרף התחתון מתאים לפונקצית המדגם עבור. = נקפיא את משתנה הזמן ברגע =. נקבל משתנה אקראי בעל הפילוג הבא: פונקצית הצפיפות של המשתנה האקראי הזה היא: 39

40 נחשב כעת את הפילוג המותנה של, = בהינתן שמתקיים = 0 : = Pr = 0 = מתרחש כאשר, = = = ההתפלגות המותנית נראית כך: דוגמא :2 סינוס עם פאזה אקראית 0.~, ; = +, קבוע, ציר הזמן. פונקצית מדגם אופיינית: t = = ו- = פונקצית מדגם אופיינית עבור, = 0 אף על פי שהתהליך האקראי הערה: בשרטוט מתוארת פונקצית המדגם האופיינית מרגע מוגדר עבור 0 בלבד. נוכל לשאול את השאלות הבאות לגבי ההתפלגות של : Pr < 3 =?. 40

41 ברור שבמקרה הזה ההסתברות היא, מפני שפונקצית sin חסומה בין. Pr 0, 0 =? על-פני מחזור שלם בהכרח sin מקבלת גם ערכים שליליים, לכן ההסתברות היא 0. Pr 0, 0 =? נשים לב שפונקצית sin מקבלת ערכים חיוביים לאורך חצי מחזור, וערכים שליליים לאורך חצי המחזור הבא. נרצה שהתחום הנתון, שאורכו רבע מחזור, יהיה כולו מוכל בתוך חצי מחזור שבו הערכים של sin חיוביים, ומכאן שההסתברות היא 0.25, שכן המאורע מתרחש π - 0 θ עבור 2 רבע מתחום הערכים של θ. ל- Pr 0 : = =? התשובה במקרה זה היא 0.5 (פעם במחזור מתקבל הערך. אנו רוצים שקטע באורך חצי מחזור יכיל נקודה זו) π 3π מהי ההתפלגות המותנית: (כאשר,.(α ישנם שני פתרונות (בקטע (, למשוואה, = והם. =, = לכן לפי הנתון, נסיק כי. =, = שתי הזויות הללו מתקבלות בהסתברויות שוות, מכיוון שהפילוג של הוא אחיד. = +. נסכם: +. = sin + = + = 0 הסבר: נובע מיידית מהגדרת האינטגרל, ומכך שאינטגרל על פני מחזור של פונקציה מחזורית הינו איווריאנטי להזזה (סופית). const צפיפות הפילוג של דגימת התהליך - ) θ. f ( x) = sin( ω t +, T) הוא ω0 ω0 x( t0 ) 0 0. "תוחלת בזמן":. 0. הסבר: נשים לב ש- הוא משתנה אקראי שחסום בתחום פרמטר). לכן לאחר חלוקה ב- T, כאשר, מקבלים נשים לב שהתוחלת, ולמעשה הפילוג השולי של X(t) כולו, קבועים בזמן. גם הפילוג המותנה )P X ( +t ) X ( (t = x0 קבוע בזמן. על כן האקראיות של תהליך זה הינה קבועה בזמן. בהמשך ) נגדיר תכונה זאת כ:סטציואנריות". דוגמאות נוספות לתהליכים אקראיים: + + = 0 = = מטבע = ''עץ = מטבע = ''פאלי '' א. נתונה המד"ר הבאה, עם תנאי התחלה: ב. 4

42 ג. כאשר A,B,C,D הם משתנים אקראיים. ~0, מ"א. נפתח את V לייצוג בינארי:,0. אזי,,, הוא ת"א בזמן בדיד. נשים לב ש-,Pr = = מפני שכל ביט מציין האם אנו נמצאים מימין או משמאל לתחום מסוים ) מציין האם אנו בין 0 ל-, מציין האם אנחנו בין 0 ל- או בין ל-, או שמא בין ל- או בין ל-, וכן הלאה). מכיוון שאנו מגרילים את כל הקטע 0, בהסתברויות שוות, הנ"ל מתקיים. { } בנוסף נוכל לומר על שהם מתפלגים i.i.d (ראה בהמשך). כל הדוגמאות עד עכשיו היו של תהליכים אקראיים שכל האקראיות שלהם נובעת מפרמטר אקראי בודד או ממספר סופי של פרמטרים אקראיים. נראה להלן איך בונים תהליך שהאקראיות שלו מתחדשת כל הזמן. הגדרה של תהליך אקראי ע"י פילוג משותף תהליך אקראי בדיד,,, הפילוג מוגדר לחלוטין ע"י הפילוג המשותף של n דגימות לכל n טבעי,,,,, N (p מייצג פילוג ערך בדיד. נחליף את p ב- f עבור פילוג בעל ערכים רציפים). יש לוודא כי מתקיימת תכונת העקביות: כל פילוג מסדר גבוה צריך להתלכד עם פילוג נתון מסדר נמוך. כלומר, נבדוק ש:,,,, =,,,, תהליך אקראי רציף 0} {, הפילוג מוגדר ע"י הפילוג המשותף של כל קבוצה של n דגימות זמן,,,, לכל n טבעי.,,,,,,,,, N גם במקרה זה צריכה להתקיים תכונת העקביות. הגדרה: פילוג שולי של תהליך אקראי בזמן רציף (לכל.( הוא הפילוג של המשתנה האקראי הגדרה: פילוג שולי של תהליך אקראי בזמן בדיד הוא הפילוג של המשתנה האקראי ( תהליך אקראי גאוסי (לכל הגדרה: ייקרא תהליך אקראי גאוסי אם כל קבוצת דגימות שלו,,,,,,, : הוא משתנה לכל n טבעי היא גאוסית במשותף. כלומר, אקראי גאוסי (ראה הגדרה בעמ' 24) הערה ותזכורת: לא מספיק שהפילוג השולי יהיה גאוסי בכדי לומר שהתהליך האקראי הינו גאוסי! עבור משתנים אקראיים, פילוג גאוסי מוגדר באופן יחיד ע"י תוחלת ושונות. עבור וקטורים אקראיים, פילוג גאוסי מוגדר באופן יחיד ע"י וקטור תוחלת ומטריצת קווריאנס. 42

43 בשני המקרים מדובר בסטטיסטיקה מסדר שני של המשתנה או של הוקטור. כיצד מוגדר תהליך גאוסי אקראי? ע"י סטטיסטיקה מסדר שני של תהליכים אקראיים: פונקצית תוחלת ופונקצית אוטו-קווריאנס או פונקצית אוטו-קורלציה. סטטיסטיקה מסדר שני של תהליכים אקראיים = הגדרה: תוחלת של תהליך אקראי היא פונקציה דטרמיניסטית המקיימת הגדרה: פונקצית האוטו-קורלציה של תהליך אקראי היא פונקציה דטרמיניסטית בעלת שני משתנים, המוגדרת באופן הבא:, הגדרה: פונקצית האוטו-קווריאנס של תהליך אקראי היא פונקציה דטרמיניסטית בעלת שני משתנים, המוגדרת באופן הבא:, טענה:, =, טענה: פונקצית האוטו-קורלציה ופונקצית האוטו-קווריאנס הן אי שליליות מוגדרות: לכל קבוצה של דגימות,,,, ולכל קבוצה של קבועים,,,, מתקיים:, 0,, 0, =, הגדרה: מומנט שני של תהליך אקראי: =, =,,,, הגדרה: שונות של תהליך אקראי: =,, מתקיים:, =, הגדרה: מקדם הקורלציה של תהליך אקראי: טענה:,. ניתן להוכיח טענה זו באמצעות אי שוויון קושי שוורץ (כמו שהוכחנו עבור זוג משתנים אקראיים בפרק על מומנטים משותפים). סטאציונאריות של תהליך אקראי הגדרה: תהליך אקראי נקרא סטאציונארי במובן הצר Stationary),Strict Sense נסמן (S.S.S אם הפילוג המשותף שלו לכל וקטור זמנים } } (לכל n) הוא קבוע ביחס להזזה בזמן: R: +,, + =,, בפרט עבור = :, + = כלומר הפילוג השולי אינו משתנה בזמן. נוכל לומר שתהליך סטאציונארי הוא תהליך אקראי בעל אותה אקראיות בכל נקודה בזמן. הגדרה: תהליך אקראי נקרא סטאציונארי במובן הרחב Stationary),Wide Sense נסמן (W.S.S אם הסטטיסטיקה מסדר שני שלו היא קבועה ביחס להזזה בזמן: 43

44 R: = + = +, + =, = תלוי רק בהפרש, נעבור לפונקציה עם ארגומנט יחיד = = קבוע ביחס ל + הערות:. S.S.S הוא מקרה פרטי של,W.S.S כלומר, אבל לא להפך. תהליך אקראי גאוסי מוגדר לחלוטין ע"י סטטיסטיקה מסדר שני. לכן עבור תהליך אקראי גאוסי שני המובנים של הסטאציונאריות מתלכדים..2 הגדרה: תהליך אקראי נקרא סטאציונארי אסימפטוטית (התהליך "שואף להיות" סטאציונארי): במובן הצר: אם קיים הגבול: Pr =,, =,, עבור איזושהי פונקציה. במובן הרחב: אם קיימים הגבולות הבאים: =., + 44

45 בנייה של תהליכים אקראיים הגדרה: תהליך אקראי בדיד בזמן { } מתפלג (Independent Identically Distributed) i.i.d אם מתקיימים התנאים הבאים: כולם בעלי אותו פילוג : ~ (נחליף את ב- במקרה הרציף). i.,,, בלתי תלויים הדדית..ii (X Y בלתי תלוי ב- Y). אזי: נסמן אי תלות באופן הבא: X :,, הערה: אי תלות בזוגות אינה גוררת אי תלות הדדית!! =.., בת"ס בעלי הפילוג הבא: 0. דוגמא 3 (אי תלות בזוגות): נתונים נגדיר משתנה אקראי חדש. = נשים לב שכל זוג של מ"א מגדיר את המשתנה השלישי באופן יחיד, לכן כל משתנה בהחלט תלוי בשניים האחרים, ומצד שני כל זוג של משתנים שנבחר הוא בת"ס (למשל, עבור קבוע, אם אנו לא יודעים את אז בפועל אין בידינו שום מידע נוסף על הפילוג של Y). תהליך אוטו-רגרסיבי ) AR (Auto-Regressive Process, הגדרה: יהי תהליך אקראי i.i.d בעל פילוג ידוע, ו משתנה אקראי (בעל פילוג ידוע) או דטרמיניסטי, וכן בלתי תלוי ב-,,,, ותהי פונקציה דטרמיניסטית. אזי =, נקרא תהליך אוטו-רגרסיבי Process).(Auto-Regressive XOR דוגמא 4: השהיית יחידה כלומר, = כאשר, ~ ונניח. פונקצית מדגם: מכיוון ש יכול לקבל את הערכים 0 ו-, כך שההסתברות לקבל 0 גבוהה הרבה יותר, אנו מקבלים כי = בהסתברות גבוהה. פונקצית מדגם של תראה כך, למשל: 0. =. דוגמא :5 "הילוך שיכור", = + כאשר. נשים לב ש:. =

46 פונקצית מדגם של תראה כך, למשל: הגדרה: תהליך AR ממשי לינארי כללי הוא תהליך AR מהצורה. = + נוכל לחשוב על תהליך זה כאילו נכנס לתוך מערכת לינארית קבועה בזמן.(LTI) = אזי מתקיים: 0 h =, ופונקצית התמסורת של המערכת היא: דוגמא 6: הצגת שרשרת מרקוב במונחים של תהליך AR g ( X, = n Wn ) X n : g P תזכורת: תהליך ARהוא תהליך בו מוגדרת פונקצית הרקורסיה i j = n n = Pr( X = j X שרשרת מרקוב מקיימת: (i X n {,2,..., J} W ~ Unif [0,) n f W (w) תהליך הבנייה: 0 w לכל,..., J = ) i ( נחלק את הקטע (0,] ל- J אינטרוולים לא שווים בהכרח הקטעים זרים ועל-כן איחודם נותן את הקטע (0,].... I i I i 2 I I i 3 i J g( i, W n ) = j if W n I i j הגדרה: פונקצית הרקורסיה מוגדרת כך:, P i j אזי התהליך ה- ARיתלכד עם I i j להיות שווה ל- כעת נראה כי אם נקבע את אורך האינטרוול שרשרת מרקוב: Pr( n j X n X = = i) = Pr{ W I } = I = n i j הסיכוי ליפול באינטרוול הוא אורך האינטרוול מהגדרת פונקצית הרקורסיה i j P i j 46

47 . תנאים לסטאציונאריות של תהליך A.R לינארי: יהי ) ~, = + תהליך אקראי (i.i.d תהליך A.R לינארי כלשהו. אם אזי התהליך אינו סטאציונארי.. אם < אזי התהליך סטאציונארי אסימפטוטית (במובן הצר ובמובן הרחב). 2. אם < וגם תנאי ההתחלה של התהליך "מתואמים" אזי התהליך סטאציונארי. 3.. תנאי ההתחלה מתואמים עבור סטאציונאריות במובן הצר אם = תנאי ההתחלה מתואמים עבור סטאציונאריות במובן ברחב אם: =, = ומתוך ). ניתן לחשב מתוך הסטטיסטיקה מסדר II של (נשים לב שאת, הגדרה: תהליך אקראי ייקרא מרקובי אם הפילוג המותנה של העתיד בהינתן ההווה והעבר שווה לפילוג המותנה של העתיד בהינתן ההווה בלבד: Pr = =, = = = =, > > Pr,, = טענה: תהליך A.R הוא מרקובי. הסבר: נשים לב ש- תלוי ב- וב-. מכיוון ש- מתפלגים i.i.d אזי ההתפלגות של אינה תלויה ב- ) > ( קודמים ולכן אינה תלויה גם ב- ) > ( קודמים. מכאן ש- מסכם בתוכו את כל העבר הרלוונטי עבור. כמו כן עבור כל, > הוא פונקציה דטרמיניסטית של ו-.,, מפת עולם התהליכים האקראיים: A.S W.S.S S.S.S A.R MARKOV הערה: בשרטוט A.S. הוא תהליך אקראי אסימפטוטי סטציונרי במובן הרחב. cos( ω0t) אפנון של אותות אקראיים I( t) X ( t) Q( t) 47 sin( ω0t)

48 א'' מערכת זו מאפננת את האותות (תהליכים) האקראיים (t, )I,(t )Q שהינם סטציונארים במשותף במובן הרחב,(J.W.S.S) על ידי הגלים הנושאים ω0t) cos( ω0t),sin( בהתאמה. מוצא המערכת מקיים ( ) X( t) = I( t)cos( ω t) + Q( t)sin( ω t) = r( t)cos ω t+ ϕ( t) r t I t Q t ו t) ) ϕהינו אות (תהליך) 2 2 ( ) = ( ) + ( ) כאשר (t )r הינו אות (תהליך) אקראי שמוגדר X( t) אקראי שמוגדר הינו הינו אות האפנון, כאשר אפנון האמפליטודה Q( t) t). tan ϕ ( האות = I( t).ϕ( t) ואפנון הפאזה הינו r( t) תחילה, לשם פשטות והבנה מקדימה, נניח כי האותות האקראיים המאפננים הינם קבועים בזמן, t). I( t) = A Q( אילו תנאים צריכים לקיים המ A וB על משמע משתנים אקראיים - B = מנת שהתהליך ω0t) X ( t) = Acos( ω0t) + B sin( יהיה סטציונארי במובן הצר,(S.S.S) ובמובן הרחב?(W.S.S) תנאים לסטציונאריות במובן הצר של האות המאופנן א) במובן הצר S.S.S sin( ω t), cos( ω t) 0 0 זמן המחזור של האותות הנושאים 2π מקיים = T, כך שנשים לב כי ω 0 T T 3T X ( t= 0) = A X ( t= ) = B X ( t= ) = A X ( t= ) = B t+ Y( t) = X( ישנה נזכיר כי (t )X יהיה S.S.S אם ורק אם לכל, c R לתהליכים (t )X ו (c t 0 מסוים (התפלגות שולית X ( t0 עבור אותה התפלגות. בפרט ההתפלגות של המשתנה האקראי ) T T. t על כן המשתנים האקראיים של התהליך) לא תלויה בזמן, למשל עבור 0 = 0,,, T 4 2 A, B בהכרח צריכים להיות בעלי התפלגות זהה, כלומר שהמשתנים האקראיים,A,B,A B צריכים להיות בעלי התפלגות זהה שהינה זוגית, זוהי סימטריה של סיבוב ב 90 מעלות במישור. f ( a) = f ( b) = f ( a) = f ( b) כלומר,(a,b) A B A B עתה נדמיין כי אוספים את כל התנאים שA,B בהכרח מקיימים כדי ש( X(t יהיה S.S.S בעזרת בדיקת X(t) בזמנים נוספים מעבר ל, T,,0 - כלומר לכל הזמנים שהם בצורה רציפה. T T

49 א'' א'' הסימטריה שתתקבל תהיה חזקה יותר סימטריה לסיבוב במישור,a,b קרי סימטריה מעגלית של ההתפלגות המשותפת. על כן לא נופתע מנכונותה של הטענה הבאה t) X ( t) = Acos( ω t) + B sin( ω יהיה תהליך S.S.S אם ורק אם הפילוג המשותף של g( x) 0 0 טענה: 2 2 f ( AB כאשר a, b ) = g ( a + b ) - הוא בעל סימטריה מעגלית,כלומר ש A,B דטרמיניסטית כלשהי. פונקציה דוגמא להתפלגות משותפת מוכרת שבעלת סימטריה כזו היא ההתפלגות המשותפת של A,B מ גאוסיים עם תוחלת אפס לכל אחד, חסרי קורלציה אחד עם השני (ולכן בת''ס וגם גאוסיים במשותף). א) במובן הרחב W.S.S אם נסתפק בדרישה כי (t )X יהיה,W.S.S שתאפשר לנו להגדיר בהמשך ספקטרום הספק ל (t )X אז נקבל דרישות מסוימות על המ - A,B { } ω { } ω { } { } { } E X ( t) = cos( t) E A + sin( t) E B = 0 E A = E B = { } {( ω ω )( ω ω )} R ( t, t ) = E X ( t ) X ( t ) = E Acos( t ) + Bsin( t ) Acos( t ) + Bsin( t ) = X { } + ( + ) { } + { } cos( ω t )cos( ω t ) E A sin ω ( t t ) E AB sin( ω t )sin( ω t ) E B t. t + t 2 { 2 } = E{ B 2 }, E A,t. אם אכן תנאים אלו t2 בהכרח צריך להתקיים = 0 } AB E{ (אורתוגונאליות) אחרת ישנה תלות ב E A כך שנקבל דרישה לחס''ק בין A לB. בנוסף הכרחי כי { } = E{ B} = 0 { } { } 2 כלומר Var A = Var B = σ במקרה זה, אחרת ישנה תלות ב מתקיימים נקבל 2 2 ( ω ω ω ω ) σ σ ( ω ) R ( t, t ) = cos( t )cos( t ) + sin( t )sin( t ) = cos ( t t ) X R ( t, t ) = R ( τ ) X 2 X משמע ולמעשה הוכחנו את הטענה הבאה X ( t) = Acos( ω t) + B sin( ω t) 0 0 טענה: יהיה תהליך W.S.S אם ורק אם A ו- B משתנים { 2 } = E{ B 2 } E A ו אקראיים שווי שונות, חסרי קורלציה ובעלי תוחלת אפס כל אחד, כלומר { } = { } = { } = 0. E A E B E AB 49

50 ל'' במבט ראשון נדמה כאילו אין קשר בין התנאים לS.S.S וW.S.S, והרי שאנו יודעים כי עבור.S..S.S S W. אלא שמקרה פרטי של התנאי לS.S.S הינו תהליך מסוים S f שראינו, ומכאן = 0 ) ( = } { = } { A ( a) = f B ( b) = f A ( a) = f B ( b). E B E A af a da a f a ( a ) = fb ( b ) def odd function B בנוסף ראינו כי (π, ϕ Uniform( π, ומכיוון ש = tanϕ נובע מתנאי זה כי A חסר A קורלציה עם. cov( A, B) = E AB E A E B = 0,B יחד נקבל כי ישנה אורתוגונאליות בין. { } { } { } AוB,, }E AB } = 0 כך שאכן התקבלו התנאים לW.S.Sבטענה הנ תנאים לסטציונאריות של האות המאופנן אפנון כללי עתה נחזור לדון במקרה הכללי שבו ω0t), X ( t) = I ( t) cos( ω0t) + Q( t)sin( יהיה תהליך סטציונארי במובן הרחב. נשים לב לדמיון למקרה הקבוע בזמן. ונשאל מתי ( X(tעתה { } ω { } ω { } { } { } E X( t) = cos( t) E I( t) + sin( t) E Q( t) = 0 E I( t) = E Q( t) = t RX ( t, t2) E{ X( t) X( t2) } E{ ( I( t)cos( ω0t ) Q( t)sin( ω0t ))( I( t2)cos( ω0t2 ) Q( t2)sin( ω0t2 ))} ( cos( ω0t )cos( ω0t2 )) E{ I( t) I( t2) } + ( sin( ω0t )cos( ω0t2 )) E{ Q( t) I( t2) } +( sin( ω t )cos( ω t )) E{ I( t ) Q( t )} + ( sin( ω t )sin( ω t )) E{ Q( t ) Q( t )} = = = + + = t J. W. S. S cos( ω t )cos( ω t ) R ( τ) + sin( ω t )cos( ω t ) R ( τ) + sin( ω t )cos( ω t ) R ( τ) + sin( ω t )sin( ω t ) R ( τ) I QI QI Q I Q לכן נרצה לדרוש, R ( τ ) = R ( τ ) R ( τ ) = R אחרת אנו ( τ ) τ R ( τ ) = R ( וגם ). t תחת דרישה זו IQ QI IQ IQ t 2 רואים כי התקבלה תלות של פונקצית האוטו-קורלציה בביטויי זמן שאינם נקבל - 2 ( ) ( ) ( ω t t ) R τ + ( ω t t ) R τ R ( t, t ) = cos( ω t )cos( ω t ) + sin( ω t )sin( ω t ) R ( τ) + sin( ω t )cos( ω t ) cos( ω t )sin( ω t ) R ( τ) = X I QI cos ( ) ( ) sin ( ) ( ) 0 2 I 0 2 QI ) τ, t, t R, R ( t, t ) = R ( והוכחנו את הטענה הבאה 2 X 2 X משמע I( t), Q( t) X ( t) = I ( t) cos( ω t) + Q( t)sin( ω t) 0 0 טענה: תהליכים אקראיים J.W.S.S יהיה תהליך W.S.S אם ורק אם שפונקציות האוטו-קורלציה שלהם מקיימות ) τ R ( τ ) = R ( I Q. R IQ ( τ ) = R ( τ ) IQ ופונקציות הקרוס-קורלציה ביניהם מקיימות 50

51 תהליך וינר Process) (Wiener תהליך וינר הוא תהליך גאוסי עם תוחלת 0 ושונות שעולה לינארית בזמן. הוא מייצג תופעה פיזיקלית של דיפוזיה. נפתח את התכונות שלו בשלבים. הגדרת תהליך אקראי וינר נגדיר מהו תהליך אקראי וינר בשלבים:. /2. "הילוך שיכור": (i.i.d) =, = 0., = + בת"ס. /2 ב-. תזכורת: פונקצית מדגם אופיינית של הילוך שיכור נראית כך: = 0 = =, = = הנחה + = = (במעבר הלפני האחרון השתמשנו בכך ש- בת"ס ב- כאשר ). >, = min {, } אם מאחדים את המקרים ) ( =, <, > מקבלים: מעבר לזמן רציף (דגימה מהירה עם צעדים קטנים): נגדיר s מרווח הזמן בין צעד לצעד. - גודל הצעד של השיכור; - =.2 בנוסף נדרוש כי יתקיים הקשר = שיבטיח עליית שונות לינארית בזמן. = 0 = = = =, = כפולה שלמה של = כפולות שלמות של lim = lim min {, } = lim ~0, מעבר לערכים רציפים (ע"י השאפת קצב הדגימה ל- ): lim =.3 לכן, לפי משפט הגבול המרכזי: 5

52 כל דגימה שואפת להיות גאוסית. האם תהליך אקראי גאוסי? ניזכר כי כדי שתהליך אקראי יהיה גאוסי נדרוש כי כל קבוצה של דגימות שלו תהיה וקטור גאוסי. היות ש- הוא תהליך עם "תוספות בת"ס" לכל, אזי גם תהליך עם "תוספות בת"ס". בפרט,, לפיכך,, גאוסים במשותף, ומכאן שגם כל זוג קומבינציות לינאריות שלהם גאוסים במשותף. בפרט., פונקצית מדגם אופיינית של תהליך וינר: = lim, וכי זהו תהליך גאוסי גם,( > 0) ונשתמש נתבונן בתהליך כן. ניתוח תהליך הנגזרת של תהליך וינר. = נבחין כי במקום לאפיין את התהליך (כלומר, את הגבול) בגבול של המאפיינים (תוחלת ואוטו קורלציה). ישירות, נאפיין את תוחלת:. = 0, פונקצית אוטו קורלציה:, = נחלק את חישוב פונקצית האוטו קורלציה ל- 2 מקרים:. נשים לב ש מתאר דגימות של בזמנים., + לכן, אם, > הדגימות ו- מתארות קטעים זרים. לפי תכונת "תוספות בת"ס" של תהליך אקראי וינר, הדגימות ו- בת"ס. לכן:, = = = 0. > בנוסף נניח בה"כ כי. t 2 t 2. נניח כי δ חפיפה + +, =,,,, =, + = 52

53 , נשים לב שהשטח מתחת לפונקציה לעיל הוא קבוע (שווה ל- ) בלי תלות ב-. עבור 0 פונקצית האוטו קורלציה מתקרבת לפונקצית הלם: = רעש לבן הגדרה: תהליך אקראי בעל תוחלת 0 שפונקצית האוטו קורלציה שלו היא פונקצית הלם נקרא תהליך רעש לבן. משמעות: תהליך אקראי שבו כל שתי נקודות קרובות כרצוננו הן חסרות קורלציה (כלומר התהליך לא "זוכר" מה קרה רגע קודם, עבור רגע קטן כרצוננו). אם הן בת"ס נאמר שהתהליך הוא רעש לבן במובן החזק. 53

54 שרשרות מרקוב מרקוביות תזכורת: תהליך הוא מרקובי אם (עבור ): < = {, } = = כלומר ההסתברות של "העתיד" בהינתן "ההווה" ו"העבר" שווה להסתברות של "העתיד" בהינתן "ההווה" בלבד. דוגמאות לתהליך מרקובי (רציף) הינן תהליך פואסון ותהליך.AR הערה: ההתניה בביטוי = {, } כוללת את כל הזמנים הקטנים מ-, ולא רק זמן מסוים. הגדרה: שרשרת מרקוב היא תהליך מרקובי בזמן בדיד. כלל השרשרת:,,, =,,, = = תכונת המרקוביות הגדרה: היות ומספיק להתנות את ההסתברות בערך האחרון של התהליך, נקרא לערך זה ה"מצב" של התהליך. Pr = = = נוסחת צ'אפמן קו למו גו רו ב: נניח : < < = = = = m k n Pr = = נוכיח: = נוסחת ההסתברות השלמה = חוק בייס = מרקוביות =, = = = = =, = = = = = = = = הגדרה: שרשרת מרקובית תיקרא הומוגנית אם: : = = = = = כלומר, פילוג המעבר הוא קבוע בזמן. {0,,2,, } הגדרה: שרשרת הומוגנית תיקרא דיסקרטית אם: כלומר יש לה מספר סופי (או אינסוף בר-מניה) של מצבים. 54

55 מ- ייצוג גרפי לפילוג שרשרת עם מצבים: נייצג את הפילוג של שרשרת מרקובית באמצעות גרף שבו הקודקוד (מצב) S ni מייצג את המקרה. = קשתות בגרף יחברו בין מצבים בזמנים עוקבים. בין שני מצבים תופיע קשת אם קיימת הסתברות חיובית למעבר בין שני המצבים. על הקשת נרשום את ערך ההסתברות:,, היא ההסתברות לעבור ממצב ברגע למצב ברגע +. גרף אופייני המתאר שרשרת מרקוב יהיה מהצורה הבאה: S 2 S S 22 S 0 S 2 S 23 S = 0 = = 2 = 3 נבחין כי סכום הערכים על הקשתות היוצאות מכל מצב הוא. אם השרשרת הומוגנית, אין משמעות לתנועה בציר הזמן. תיאור גרפי של שרשרת מרקוב הומוגנית ייראה כך: p 23 p p p 32 P 4 4 p 24 p 35 p 55 p 45 5 ניתן לתאר את התרשים הנ"ל באמצעות מטריצה בגודל J J הנקראת מטריצת העבר:, = =, i זמן, - n כאשר ; = = = צב נוכחי, - j המצב הבא. השורה ה i מייצגת את המעברים ממצב i לשאר המצבים, לכן סכום כל שורה הוא. הגדרה: מטריצה שכל איבריה אי-שליליים וסכום כל שורה בה הוא נשים לב כי היא מטריצה סטוכסטית. נקראת מטריצה סטוכסטית. 55

56 לi סיווג מצבים של שרשרת מרקוב הומוגנית הרבה תופעות מעניינות של שרשרות מרקוב נובעות מכך שבמטריצת המעבר ישנם אפסים, כלומר מעברים אסורים. נגישות: מצב j הוא נגיש accessible) נסמן:. מ) - i אם ניתן להגיע מ- - j במספר צעדים (סופי) בגרף.. לדוגמא: בגרף הקודם 3,.5 2. קשירות: מצבים הם קשורים אם הנגישות היא דו צדדית. נסמן:. נבחין כי., 3. מחלקה: קבוצה שלמה של מצבים קשורים. לדוגמא: בגרף הקודם המחלקות הן: {5},{,2,3,4}. מצב נישנה: מצב הנגיש מכל המצבים הנגישים ממנו. מצב חולף: מצב שאינו נישנה. מחלקה נישנת- מחלקה שכל מצביה נשנים. מחלקה שאינה נשנית היא מחלקה חולפת לדוגמא: המחלקה {,2,3,4} היא מחלקה חולפת, מפני שמצב 5 נגיש מכל אחד מאיברי הקבוצה, אך הם אינם נגישים ממנו. מצב 5 הוא מצב נישנה. לפני שנעבור לסיווג השישי והאחרון ברשימה ("מחזור של מצב"), נסתכל על האופן שבו מתפתח הפילוג השולי של השרשרת בציר הזמן. הגדרה: פילוג שולי של שרשרת מרקוב הומוגנית דיסקרטית,,, ברגע : = =, = 2,, = אזי לפי משפט ההסתברות השלמה: = = = = = = = = = ומכאן שמתקיים (הוכחה באינדוקציה): = Pr = = כלומר היא מטריצת המעבר צעדים קדימה בזמן. בפרט: 56 = נתונה שרשרת מרקוב הבאה עם = 2 מצבים (תנאי התחלה: = ): = 0 = 2 דוגמא :

57 : = = עדיין מתקיים נבחין כי עבור כל תנאי התחלה נתונה שרשרת מרקוב הבאה עם = 2 מצבים (תנאי התחלה: = ): = 0 0 = 0 = 0 = 0 0: = = מקבלים נבחין כי עבור תנאי התחלה נתונה שרשרת מרקוב הבאה עם = 2 מצבים (תנאי התחלה: = ): דוגמא 2: 2 דוגמא 3: = = = = = = 0 2 נבחין כי מתקיים: = 2 = (האיבר הימני בכל שורה הוא מחצית האיבר = השמאלי בשורה שמעליה). בנוסף מתקיים = 2 = = (הסתברות משלימה). כעת אם נניח שההסתברות = מתכנסת לערך, נקבל כי: = = = = לכן מתקיים (נשווה את החישוב הראשון של ההסתברות = 2 לחישוב השני, בגבול): = = = דוגמא 4: נתונה שרשרת מרקוב הבאה עם = 4 : =

58 ישנן 2 מחלקות קשירות, ושתיהן נישנות: {3,4},{,2} = = 0 0 : = 0 0 נניח כי נתון תנאי התחלה =. אזי: 0: =. = אזי: נניח כי נתון תנאי התחלה נשים לב שנוכל למיין את הדוגמאות הנ "ל לפי התלות שלהן בתנאי ההתחלה. הגדרה: נאמר ששרשרת "שוכחת את העבר" אם = = = (כלומר, אסימפטוטית אין תלות בעבר). דוגמא 5: השרשרות בדוגמאות,3 שוכחות את העבר. השרשרות בדוגמאות 2,4 אינן שוכחות את העבר. (ראה בהמשך התייחסות נוספת לנושא זה) כעת נחזור לסיווג המצבים של שרשרת מרקוב, להגדרה של מחזור. הגדרה: זמני החזרה של מצב הם הזמנים שעבורם > 0. = = = הגדרה: מחזור של מצב הוא המחלק המשותף הגדול ביותר של סדרת זמני החזרה. טענה: לכל המצבים באותה המחלקה יש אותו מחזור. הגדרה: מחלקה היא מחזורית אם > : דוגמא 6: לכל המצבים בשרשרת הבאה יש מחזור 3: סדרת זמני החזרה של כל המצבים בשרשרת (כולם באותה מחלקה): > 0, = 0,2,4,5,6,7,8,9,0, = שרשרת זו אינה מחזורית. דוגמא 7: נמצא את המחזורים של המצבים בשרשרת הבאה:

59 סטאציונאריות של שרשרת מרקוב ניתן לראות כי אם הוקטור = מקיים את המשוואה = אזי = (הוכחה באינדוקציה), לכל. > כלומר, אם = אזי הפילוג השולי של השרשרת קבוע לכל. טענה: אם מתקיימת המשוואה = אזי השרשרת סטאציונארית במובן הצר. הסבר: מכיוון שהשרשרת הומוגנית (פילוג מעבר קבוע בזמן), על מנת שהפילוג המשותף יהיה קבוע בזמן (והרי זו הדרישה עבור סטאציונאריות במובן הצר) מספיק שהפילוג השולי יהיה קבוע בזמן, מפני ש: פילוג משותף = פילוג שולי פילוג מעבר למעשה, נבחין כי הדרישה בטענה שקולה לכך ש- הוא וקטור עצמי שמאלי של המטריצה, עם ערך עצמי = λ. "שיכחת העבר" נחזור לדון כעת בשרשרות ש"שוכחות את העבר": הדרישה לכך ששרשרת מרקוב "שוכחת את העבר" היא ש-. = = = לכן אם שרשרת שוכחת את העבר, קיים וקטור כך ש: = =. אם הגבול קיים אזי הוא בהכרח מקיים, = כלומר הגבול הוא בהכרח וקטור סטאציונארי. בנוסף, מכיוון שאין תלות בתנאי ההתחלה, ברור שהגבול צריך להתקיים לכל בחירה של וקטור. כלומר, עבור כל בחירה של מתקבל אותו הגבול. = 0,,0,, 0,,0 נסמן את וקטורי הבסיס הסטנדרטי מסדר ב:,,, המקום ה וקטורים אלו מייצגים תנאי התחלה דטרמיניסטיים - =. =,. R כלשהי, היא השורה ה- במטריצה. לכן: וניזכר שעבור מטריצה במטריצה השורה ה = = = ומכאן שאם השרשרת שוכחת את העבר, אזי: 59

60 ארגודיות הגדרה: תהליך אקראי הוא ארגודי (Ergodic) אם ניתן ללמוד את הפילוג המשותף המלא שלו (היינו את כל הפרמטרים הסטטיסטיים שלו) מתוך התבוננות על פונקצית מדגם בודדת שלו (בהסתברות ). בדרך כלל הכוונה ב"ללמוד" היא למיצוע בזמן. מכאן נובעת ההגדרה הבאה - הגדרה קונקרטית: תהליך אקראי הוא ארגודי (Ergodic) אם ורק אם,,,,, לכל k ולכל פונקציה R וכן לכל,.,:, ב. עבור שרשרת מרקוב הומוגנית דיסקרטית, ( {0,,2,, } ),,, ארגודיות שקולה ל (2 התנאים יחד): מספר המופעים של ב = =,,, א. מספר הפעמים שהופיע אחרי ב,,, מספר הפעמים שהופיע ב,,, דוגמא : = שערוך הסתברות המעבר מ ל מתוך דגימות של השרשרת נתונה סדרת הדגימות הבאה של שרשרת מרקוב כלשהי:,,,2,,,2,,,,2,2, = 3, נשערך את 2 ואת לפי הנתון: טענה: שרשרת מרקוב (הומוגנית) היא ארגודית אם ורק אם היא שוכחת את העבר. 2 =, = הערה: עבור תהליך אקראי i.i.d (מקרה פרטי של שרשרת מרקוב), חוק המספרים הגדולים מבטיח את קיומו של תנאי א לארגודיות. ארגודיות של שרשרת מרקוב כללית - נראה בהמשך. תזכורת: חוק המספרים הגדולים Numbers) :(Law of Large עבור תהליך אקראי i.i.d עם שונות סופית מתקיים:.. איך חוק המספרים הגדולים מתקשר לתנאי א? = ("האינדיקטור של "). נגדיר 0 הפעלה של חוק המספרים הגדולים נותנת את תנאי א. דוגמא 2: הטלת קובייה., נגדיר שני תהליכים אקראיים (בזמן בדיד המקבלים ערכים בדידים) לפי הטלת קובייה הוגנת באופן הבא: תהליך אקראי : בכל רגע מטילים מחדש את הקובייה (באופן בלתי תלוי בהטלה הקודמת). תהליך אקראי 2: מטילים את הקוביה ברגע 0, והתוצאה שהתקבלה היא הערך שמקבל התהליך האקראי בכל. 60

61 = נשים לב כי בשני התהליכים הנ"ל הפילוג השולי הוא "ל סטאציונאריים. וכי שני התהליכים הנ נעמוד כעת על ההבדלים בין שני התהליכים: נשרטט דיאגרמות מצבים לכל אחד מהתהליכים: התרשים הימני מתאר את התהליך האקראי הראשון, וההסתברויות על כל החצים שלו הן התרשים השמאלי מתאר את התהליך האקראי השני. נצייר פונקציות מדגם אופיינית לכל אחד מהתהליכים (מימין ת"א, משמאל ת"א 2):. n n למעשה, התהליך הראשון הוא תהליך ארגודי ואילו התהליך השני אינו ארגודי כי אין שכחה של העבר. דוגמא 3: בן/בת בוכה/צוחק בן תמיד נשאר בן, בת תמיד נשארת בת. מצב הרוח של כל אחד מהם יכול להשתנות בהסתברות או להישאר אותו דבר בהסתברות. נסמן את המצבים: - בן צוחק, - 2 בן בוכה, - 3 בת צוחקת, - 4 בת בוכה. שרשרת זו אינה ארגודית, מפני שהיא לא שוכחת את העבר (ישנן שתי מחלקות נשנות, ולא ניתן לעבור ביניהן)

62 התורה של פרון-פרוביניוס Theorem) (Perron-Frobenius הדיון הוא בשרשרות מרקוב הומוגניות סופיות. זוהי מערכת כללים לקביעת מתי שרשרת מרקוב הומוגנית עם מספר מצבים סופי היא סטאציונארית וארגודית, ומה קורה במקרים שהיא לא. נתייחס לשרשרת עם מטריצת מעבר. א. ב. תמיד קיים לפחות פתרון הסתברותי אחד למשוואה, = כלומר ו"ע שמאלי אי שלילי עם ע"ע. אם לשרשרת יש מחלקה נשנית אחת אזי הפתרון הוא יחיד. ג. ד. אם לשרשרת יש r מחלקות נשנות אזי ישנם r פתרונות בלתי תלויים לינארית. (בהנחה שסידרנו את המצבים בקבוצות לפי המחלקות) 0 0, =,,0,0,0,0,0,0 0 0, = 0,0,,,,0,0,0, = 0,0,0,0,0,,, 0 0 שרשרת מרקוב היא ארגודית אם כל מצביה שייכים למחלקה נשנית אחת לא מחזורית.( = ) במקרה זה מתקיים: השרשרת סטאציונארית אסימפטוטית לכל = =, ומתכנסת ל-. ה. שרשרת היא ארגודית עם תופעת מעבר (transient) אם יש לה מחלקה נשנית אחת לא מחזורית, ומצבים חולפים (כלומר, אם נתחיל במחלקה הנשנית נישאר שם, ואם נתחיל באחד המצבים החולפים אז בהסתברות נעבור למחלקה הנשנית מתישהו). ו. במקרה זה נוכל ללמוד מפונקצית מדגם בודדת רק על המצבים הנשנים. מקרים לא ארגודיים: אם לשרשרת יש 2 מחלקות נשנות או יותר, אזי היא לא ארגודית. אמנם מתכנסת, אבל שורותיה, בגבול, אינן זהות. ניתן לראות כי במקרה זה השרשרת אינה שוכחת את העבר: אם מתחילים במחלקה נשנית מסוימת, או מגיעים אליה ממצב חולף - לא ניתן לעבור למחלקה נשנית אחרת. לכן לא ניתן ללמוד את הסטטיסטיקה של כל המצבים מפונקצית מדגם בודדת. ז. מחלקה נשנית אחת מחזורית > : במקרה זה אינה מתכנסת (לא קיים גבול), אבל כן מתכנסת. דוגמא 4: נתונה שרשרת מרקוב הומוגנית (נבחין כי = 2 ): =

63 הסדרה = 0 0 = 0 0 = 0 מתנדנדת עם מחזור 2. 0 הסדרה מתכנסת למטריצת היחידה. השרשרת לא ארגודית. ארגודיות חלקית (ארגודיות בתוחלת, בקורלציה או בפרמטר אחר) יהיו { {, 0 תהליך אקראי סטאציונארי ו- Θ פרמטר כלשהו המאפיין את התפלגות התהליך (למשל: α של תהליך אוטו-רגרסיבי, תוחלת של תהליך אקראי, פונקצית אוטו קורלציה וכו'). נניח שבידינו מערכת המקבלת בכניסה תהליך אקראי בחלון זמן סופי { {, 0 ומחזירה במוצאה שערוך של הפרמטר Θ (נסמן.(Θ, 0 מערכת לימוד פרמטר הערה: Θ הוא גודל דטרמיניסטי.,Θ המשערך של Θ, הוא משתנה אקראי. הגדרה: נאמר שמשערך Θ (משערך של הפרמטר ) הוא חסר הטיה אסימפטוטית אם Θ הגדרה: נאמר שמשערך וכן מתקיים: Θ (משערך של הפרמטר ) הוא עקבי אם הוא חסר הטיה אסימפטוטית Θ 0 Θ פילוג המשערך של פילוג עבור T מאוד גדול המשמעות של הגדרה זו היא שככל ש- גדל, כך פילוג המשערך הולך ומתקרב להלם בנקודה. הגדרה: נאמר שהתהליך ארגודי בפרמטר אם קיים משערך ו-) עקבי. Θ שהוא (חסר הטיה אסימפטוטית 63

64 ארגודיות בקורלציה: ישנם 2 משערכים לפונקצית האוטו-קורלציה של :. 0 : = (משערך בלתי מוטה ( : = (משערך מוטה ( + = = הוא עקבי? ארגודיות בתוחלת: תחת אילו תנאים על המשערך חוסר הטיה מובטח לכל. נוכיח: = לינאריות התוחלת והאינטגרל הנחנו סטאציונאריות = 0 = נותר לבדוק מתי. 0 טענה: = מסקנה: תהליך סטאציונארי (במובן הרחב) הוא ארגודי בתוחלת אם תנאי סלוצקי: תנאי (*) שקול ל-. 0 = הגדרה: אם: מקדם הקורלציה בין זוג זמנים במרווח = τ 0 התהליך "שוכח את עצמו" במובן הקורלציה. אזי נאמר ש נשים לב שתנאי זה מזכיר את התנאי לשכחת העבר של שרשרות מרקוב, אבל הוא יותר חלש מפני שכאן מדובר רק על חוסר קורלציה בעוד שהתנאי לשכחת עבר דורש חוסר תלות ממש בתנאי ההתחלה. טענה: אם תהליך שוכח את העבר במובן הקורלציה, אזי הוא מקיים את תנאי סלוצקי ולכן ארגודי בתוחלת. ההפך לא בהכרח מתקיים, ראה למשל סינוס עם פאזה אקראית. τ τ > τ (חייב להימצא כזה < = + τ לכל < כך ש- τ הוכחה: לכל > 0 ε, נמצא מהתנאי ש-.( 0 + כעת נפרק את האינטגרל בתנאי סלוצקי: מכאן שהאינטגרל של סלוצקי קטן מ-. היות ו- קטן כרצוננו, תנאי סלוצקי מתקיים. מ.ש.ל. 64

65 ספקטרום הספק (PSD) Power Spectral Density הדיון יתמקד בתהליכים.W.S.S הגדרה: ספקטרום ההספק של תהליך אקראי W.S.S בזמן רציף בעל פונקצית אוטו קורלציה. < <, = F{ } = הוא נשים לב ש- היא פונקצית דטרמיניסטית ולכן כך גם. הגדרה: ספקטרום ההספק של תהליך אקראי W.S.S בזמן בדיד בעל פונקצית אוטו קורלציה. < Ω <, = F{ } = הוא = זוגית זוגית אי זוגית = נשים לב ש- היא פונקצית דטרמיניסטית ולכן כך גם. תזכורת: תכונות של פונקצית אוטו קורלציה (עבור תהליך אקראי ממשי): זוגיות: =.. : 0 היא פונקציה אי שלילית מוגדרת. בפרט מתקיים:.2 תכונות של ספקטרום הספק (עבור תהליך אקראי ממשי):. היא פונקציה ממשית: = + = זוגית ביחס ל- (נובע מהזוגיות של ומסעיף ). אי שלילית 0. : הוכחה: ראה דוגמא 2 בסוף השיעור (עמוד 79), או לחלופין - כיוון שהתמרת פורייה של פונקציה אי שלילית מוגדרת (פונקצית האוטו-קורלציה במקרה הזה ( היא אי שלילית..2.3 ניזכר ב- 2 מושגים מהשיעור הקודם: ארגודיות בתוחלת וארגודיות בקורלציה: ארגודיות בתוחלת: נניח שהמשערך ארגודי. אזי הוא חסר הטיה (ללא קשר לארגודיות, כפי שראינו בשיעור הקודם): ; = ועקבי:. 0 = 0 = ארגודיות באוטו קורלציה: נתבונן במשערך האוטו קורלציה הבא: 65

66 המשערך הנ"ל הוא חסר הטיה:. = אם התהליך ארגודי בקורלציה, אזי המשערך הנ"ל הוא עקבי:. 0 נוכל להסיק מהדיון לעיל שלפונקצית מדגם אופיינית של יש אנרגיה אינסופית, אך מצד שני האינטגרל של בחלון עולה לינארית בגודל החלון (אסימפטוטית), ולכן יש לה הספק חסום. תזכורת: אותות ומערכות דטרמיניסטיים: h - תגובה להלם שהתרחש ברגע = 0. h התמרת פורייה: התמרת פורייה התמרת פורייה h F{} = F{h} = = h ) היא פונקציה מרוכבת: כפל בה מורכב מהכפלה בגודל ומהזזת פאזה) עבור אותות מחזוריים בזמן משתמשים בטורי פורייה. התמרת פורייה כפל בתדר קונבולוציה בזמן היינו רוצים ליצור התמרה דומה עבור אותות אקראיים אבל מסתבר שדבר זה בלתי אפשרי. נסביר: מצד אחד, פונקצית מדגם של תהליך אקראי סטאציונארי איננה דועכת (כלומר איננה בעלת אנרגיה סופית), ולכן אין לה התמרת פורייה. מאידך, יש לה הספק סופי ) עולה בקירוב באופן לינארי ב- T), אך תנאי זה אינו מספיק עבור קיום טור פורייה: פונקצית מדגם של תהליך אקראי באופן כללי איננה מחזורית (למעט דוגמאות מיוחדות כמו סינוס עם פאזה אקראית), ולכן באופן כללי לא ניתן להציגה באמצעות טור פורייה. בתור שלב ביניים נתייחס להתמרת פורייה בחלון זמן סופי. נתבונן בחלון של = 0 : אחרת 0 הגדרה: התמרת פורייה בחלון של היא } = F{ טענה: יהי תהליך אקראי סטאציונארי במובן הצר. אזי הפאזה של היא משתנה אקראי אחיד:. ~, הסבר: נגריל פונקציות מדגם של. ההסתברות לקבל פונקצית מדגם כלשהי של שווה להסתברות לקבל פונקצית מדגם זהה עד כדי הזזת זמן. הזזת זמן שקולה לפאזה לינארית במישור התדר. מכאן שעבור תדר נתון (פרט לתדרים מאוד קטנים) הזזת זמן שקולה להזזת פאזה. לכן ההסתברות לקבל פאזה מסוימת של שווה להסתברות לקבל כל פאזה אחרת. הערכים האפשריים לפאזה הם,, ומכאן שהפאזה של מתפלגת אחיד בתחום זה. 66

67 67

68 68

69 מקיים את תנאי (*) 69 T T τr ( ) X תנאי (*): התנאי הוא 0 τ T 0 הבחינו: תנאי (*) חזק מתנאי סלוצקי (עבור המקרה שהתוחלת שווה ל -0):. T T R X 0 T ( τ) 0

70 70